Remove docker flags that can cause issues (rust-lang/rust#39036)

Auto merge of #3887 - luser:rustc-wrapper, r=alexcrichton

Add support for wrapping cargo's rustc invocations by setting RUSTC_WRAPPER

To use sccache for cargo builds we need a simple way to get sccache into the rustc commandline when cargo invokes rustc. Currently this is only possible by hard-linking or copying the `sccache` binary to be named `rustc` and then either setting `RUSTC` to its path or putting it first in `$PATH`, both of which are sort of clunky and require manual steps even if installing sccache via `cargo install`.

This patch adds support for a `RUSTC_WRAPPER` environment variable which, if set, will simply be inserted as the actual binary for all rustc process execution, with rustc and all other rustc arguments following.

I didn't add any tests for this, I couldn't figure out the right place to put them, and presumably we'd need to build a helper binary of some sort to use as the wrapper. If you've got suggestions for how to do that properly I'd be happy to write tests.

This works well in my local testing:
```
luser@eye7:/build/read-process-memory$ /build/cargo/target/release/cargo clean; time RUSTC_WRAPPER=/build/sccache2/target/release/sccache RUSTC=/home/luser/.rustup/toolchains/beta-x86_64-unknown-linux-gnu/bin/rustc /build/cargo/target/release/cargo build
   Compiling getopts v0.2.14
   Compiling log v0.3.6
   Compiling libc v0.2.16
   Compiling rand v0.3.14
   Compiling pulldown-cmark v0.0.3
   Compiling tempdir v0.3.5
   Compiling skeptic v0.5.0
   Compiling read-process-memory v0.1.2-pre (file:///build/read-process-memory)
    Finished dev [unoptimized + debuginfo] target(s) in 7.31 secs

real 0m7.733s
user 0m0.060s
sys 0m0.036s
luser@eye7:/build/read-process-memory$ /build/cargo/target/release/cargo clean; time RUSTC_WRAPPER=/build/sccache2/target/release/sccache RUSTC=/home/luser/.rustup/toolchains/beta-x86_64-unknown-linux-gnu/bin/rustc /build/cargo/target/release/cargo build
   Compiling getopts v0.2.14
   Compiling libc v0.2.16
   Compiling log v0.3.6
   Compiling pulldown-cmark v0.0.3
   Compiling rand v0.3.14
   Compiling tempdir v0.3.5
   Compiling skeptic v0.5.0
   Compiling read-process-memory v0.1.2-pre (file:///build/read-process-memory)
    Finished dev [unoptimized + debuginfo] target(s) in 0.97 secs

real 0m1.049s
user 0m0.060s
sys 0m0.036s
```

The use of beta rustc is just to pick up the fix for making `--emit=dep-info` faster (which should ship in 1.17). If this patch ships in cargo then in the future developers should simply be able to `cargo install sccache; export RUSTC_WRAPPER=sccache` and `cargo build` as normal, but benefit from local sccache caching.

Auto merge of #3926 - froydnj:reenable-nightly-tests, r=alexcrichton

re-enable previously nightly-only tests

These tests all play nicely with Rust 1.16.

re-enable previously nightly-only tests

These tests all play nicely with Rust 1.16.

Add support for wrapping cargo's rustc invocations by setting RUSTC_WRAPPER

Auto merge of #3928 - andwur:version-not-found-error-msgs, r=alexcrichton

Better error message when a package version is not found

This changes the error message when a package *is* found but there's no
matching version to be a little more helpful.

Old: "no matching package named `<dep name>`"
New: "no matching version `<version>` found for package `<dep name>`"

Fixes #2997

Auto merge of #3924 - koivunej:issue_3922, r=alexcrichton

Adjust submodule updating failure reporting

This PR changes output of cargo when updating a dependency fails because of it's submodules cannot be loaded. In my original example this was caused by submodule pointing to a revision which was deleted by force pushing. Fixes #3922.

Before:

```
$ cargo check
    Updating git repository `<foo-url>`
error: failed to load source for a dependency on `foo`
Caused by:
  Unable to update <foo-url>?rev=hash
To learn more, run the command again with --verbose.
```

After:

```
$ cargo check
    Updating git repository `<foo-url>`
error: failed to load source for a dependency on `foo`
Caused by:
  Unable to update <foo-url>?rev=hash
Caused by:
  Failed to update submodule `submodule`
To learn more, run the command again with --verbose.
```

`--verbose` showing an additional `[9/-3] object not found - no match for id (hash)` has not been changed.

@alexcrichton since we have this nice timezone difference there was no chance of mentoring so far but any comments/suggestions are highly welcome. I'll likely check back on this next week.

Auto merge of #3908 - froydnj:overflow-checks, r=alexcrichton

add `overflow-checks` field to profiles

...and pass `-C overflow-checks` to the compiler when necessary.

Fixes #2262.

Auto merge of #3930 - alexcrichton:more-clean, r=alexcrichton

Clean some more env vars during tests

Will be required to run tests as part of rust-lang/rust

Clean some more env vars during tests

Will be required to run tests as part of rust-lang/rust

Fix #2997: error message when version not found could be improved

This changes the error message when a package *is* found but there's no
matching version to be a little more helpful.

Old: "no matching package named `...`"
New: "no matching version `...` found for package `...`"

git: use lower case in error message

add `overflow-checks` field to profiles

...and pass `-C overflow-checks` to the compiler when necessary.

Fixes #2262.

style fixes

git: adjust error on submodule update failure

Now instead of reporting single generic "submodule update failed" a
dependency specific submodule update failed error message will be
reported and shown without --verbose.

git: refactor update_submodule out of loop

reproduce error msg in test case

Auto merge of #3919 - malbarbo:openssl-probe, r=alexcrichton

Update openssl-probe to 0.1.1

This helps find ssl certificates on termux (android).

Auto merge of #3885 - malbarbo:android-build, r=alexcrichton

Add android build support

This add android build support, including openssl.

Update openssl-probe to 0.1.1

Auto merge of #3847 - SergioBenitez:master, r=alexcrichton

Always emit build script warnings for crates that fail to build

Resolves #3777.

r? @alexcrichton

Remove android build for aarch64, arm and i686

Add android build to travis

Add android Dockerfile

Add openssl build support for android

Auto merge of #3914 - jwilm:specifying-dependencies-replace-note, r=alexcrichton

Add note about Cargo.lock behavior with [replace]

The Cargo.lock behavior when using [replace] can be misleading if one
does not expect multiple versions of the crate to be included. This note
is intended to assure users that this behavior is expected, and it
suggests a way to verify their `[replace]` override is preferred.

I ran into this issue and ended up bugging @alexcrichton about it. Hopefully including this will reduce the support burden on cargo devs :smile:.

Add note about Cargo.lock behavior with [replace]

The Cargo.lock behavior when using [replace] can be misleading if one
does not expect multiple versions of the crate to be included. This note
is intended to assure users that this behavior is expected, and it
suggests a way to verify their `[replace]` override is preferred.

Auto merge of #3909 - JanLikar:fix/3876, r=alexcrichton

Improve "dirty" error message

Improve the error message stating the working directory has dirty files (files not yet committed).

Fix #3876.

Improve "dirty" error message

Improve the error message stating the working directory has dirty
files (files not yet committed).

Fix #3876.

Always emit build script warnings for crates that fail to build

Resolves #3777

Auto merge of #3907 - waywardmonkeys:show-default-new, r=alexcrichton

Indicate that --lib is default for new, init.

I often forget for a moment which is the default behavior: `--bin` or `--lib`. This makes it clear in the usage text.

Auto merge of #3904 - tee-too:fix-3880, r=alexcrichton

Sort tests so that unit tests are run before integration tests

Fix #3880

Auto merge of #3906 - waywardmonkeys:typo-fixes, r=alexcrichton

Fix typos.

Indicate that --lib is default for new, init.

Fix typos.

Sort tests so that unit tests are run before integration tests

Fix #3880

Auto merge of #3898 - jmatraszek:fix_rust_40955, r=alexcrichton

Fix rust-lang/rust 40955

Proposed fix for rust-lang/rust#40955.

I could also work on adding some additional tests, so we have all cases covered and automatically tested.

Touch up line lengths

Fix rust 40955

Auto merge of #3854 - tee-too:fix-3499, r=alexcrichton

Add `[target.'cfg(...)']` syntax for rustc(doc)flags in .cargo/config

Allow to use the Rust `cfg(...)` syntax to configure rust(doc)flags.
The flags are concatenated when a build matches several `cfg`, or
several `cfg` and a $triple.

Fix #3499.

Add `[target.'cfg(...)']` syntax for rustc(doc)flags in .cargo/config

Allow to use the Rust `cfg(...)` syntax to configure rust(doc)flags.
The flags are concatenated when a build matches several `cfg`, or
several `cfg` and a $triple.

Fix #3499.

Auto merge of #3893 - nrc:config-values, r=alexcrichton

Allow a client to override values in a config

The use case here is that the RLS wants to set a project's `target-dir`, but can't do this using a config file (since the user might have their own, and it's a bit hacky) or via an environment variable (because there might be multiple instances of Cargo running on different directories in different threads.

ISTM that the best way to accomplish this is to allow the RLS to override values in the config before we make a workspace from it. However, since the config uses a `LazyCell` for the config values, this is not very nice (if something tries to read a config value before we set them, then there will be an error when we try to set them). However, this meets our needs and is pretty low impact, so it seems like the best solution for now. I'm open to other ideas though.

Allow a client to override values in a config

Auto merge of #3842 - pwoolcoc:add-pijul-vcs-support, r=alexcrichton

Add Pijul support to Cargo

[Pijul](https://pijul.org) is a version control system written in Rust. This commit adds the ability to create a cargo project using pijul as the vcs for the project.

To use it, run `cargo new my-awesome-project --vcs=pijul`

Auto merge of #3889 - alexcrichton:toml-fix, r=alexcrichton

Update toml to fix a regression in backcompat

Related to rust-lang/rust#40956

Update toml to fix a regression in backcompat

Related to rust-lang/rust#40956

Add Pijul support to cargo

[Pijul](https://pijul.org) is a version control system written in Rust. This commit adds the ability to create a cargo project using pijul as the vcs for the project.

To use it, run `cargo new my-awesome-project --vcs=pijul`

Auto merge of #3878 - ehiggs:revert-template-until-after-rfc, r=alexcrichton

Revert template until after rfc

As discussed in #3860, templates was merged without going through the RFC process. @ssokolow has raised some useful comments which need to be settled before the template system can be put back in.

#3859 was another relevant issue.

Auto merge of #3875 - matklad:unused-replace, r=alexcrichton

Fix false positive about unused replace

closes #3861
@chriscoomber thanks for the great repro!

Auto merge of #3879 - jbendig:issue_3867, r=alexcrichton

Fix `cargo run` panic when required-features not satisfied

This PR fixes #3867 which is made up of two parts.

The first part involves `cargo run` triggering an assertion after compiling. This is triggered by the single binary selected for compilation being filtered out when required-features is specified and said features are not enabled. The cleanest approach to me involves just sticking a flag into `CompileFilter::Everything`. The flag then triggers the already existing error message when required-features is not satisfied. I think this works best because it localizes what is really a `cargo run` quirk without requiring any boilerplate or duplicate code.

The second part shows `cargo run` bailing when two binaries exist, both with required-features, but only one is resolved to be compiled due to default features. I feel like the current approach is correct because it's consistent with what normally happens when there are multiple binaries. I'm open to changing this, but for now, I've added a test to enforce this behavior.

cc @BenWiederhake: I took a quick peek at your branch to fix #3112 and I noticed that it probably won't merge cleanly with this PR. Just an FYI in case it makes sense to have this merged.

Fix `cargo run` panic when required-features not satisfied

Fixes #3867

Cleanup of template patch reversion.

Revert "Cargo templating for `new` and `init`"

This reverts commit 875a8aba7916b63c3c8464008a271f6082e23779.

Revert "Upgrade handlebars to 0.25."

This reverts commit 0aad658f09590396b4c7fe6ce93eae322354fd06.

Revert "Fix for #3722"

This reverts commit 7e80c684cad3249923b05ecbe02c009b111d9b9f.

Revert "Use time crate directly to get the year"

This reverts commit 47221e98189daa34e47934d44223db12db84c7b9.

Revert "Add year to project template variables"

This reverts commit 69ffd99f4261b10414b882eed638f041e42d8f73.

Fix false positive about unused replace

Auto merge of #3869 - matklad:test-isolation, r=alexcrichton

Don't read ~/.cargo/config in tests

Closes #3863

r? @alexcrichton

Don't read ~/.cargo/config in tests

Closes #3863

Auto merge of #3865 - matklad:doc-all-the-things, r=alexcrichton

Beef up docs about integrating Cargo with other stuff

Add info about `--message-format=json`, `--dep-info` and custom cargo subcommands (mostly copy-pasted from the wiki :) ).

cc @carols10cents

r? @alexcrichton

Add external-tools.md to the Makefile

Auto merge of #3862 - matklad:crate-types, r=alexcrichton

Fix crate_types in serialized targets

closes #3840

Beef up docs about integrating Cargo with other stuff

Fix crate_types in serialized targets

Auto merge of #3857 - antonlarin:rebuild-on-env-change, r=alexcrichton

Include package props with corresponding env vars into target metadata

Previously, when changing package properties with corresponding environment variables (such as authors, which has CARGO_PKG_AUTHORS), it didn't invalidate the build, even though there could have been a dependency on such variables in the source code.

This commit includes 3 such properties: authors list, description and homepage in the target metadata.

I've added a test only for description change, can add more if necessary.
Fixes #3696.

Auto merge of #3837 - alexcrichton:workspace-exlucde, r=brson

Add a workspace.exclude key

This commit adds a new key to the `Cargo.toml` manifest, `workspace.exclude`.
This new key is a list of strings which is an array of directories that are
excluded from the workspace explicitly. This is intended for use cases such as
vendoring where path dependencies into a vendored directory don't want to pull
in the workspace dependencies.

There's a number of use cases mentioned on #3192 which I believe should all be
covered with this strategy. At a bare minimum it should suffice to `exclude`
every directory and then just explicitly whitelist crates through `members`
through inclusion, and that should give precise control over the structure of a
workspace.

Closes #3192

Include package props with env vars into target metadata

Previously, when changing package properties with corresponding
environment variables (such as authors, which has CARGO_PKG_AUTHORS),
it didn't invalidate the build, even though there could have been
a dependency on such variables in the source code.

This commit includes such properties (there are 3 of them in total:
authors, description and homepage) in the target metadata.

Fixes #3696.

Auto merge of #3858 - alexcrichton:fix-ci, r=alexcrichton

Attempt to fix CI

Travis looks to have switched to rustup.rs

Attempt to fix CI

Travis looks to have switched to rustup.rs

Auto merge of #3841 - matklad:encourage-explicit-version, r=alexcrichton

Encourage tools writers to explicitly pin metadata version

We do support versioning of metadata, but let's encourage tool's writers to actually use it.

They might not realize that this flag exists at all, or they can be too lazy (like myself :( ) to use it.

We can also make this flag mandatory, but I think that's a little bit to far.

Auto merge of #3848 - tee-too:fix-2529, r=alexcrichton

Report the name of the test that failed (fix #2529)

Fix #2529

Auto merge of #3849 - alexcrichton:fix-stack-overflow, r=matklad

Detect cyclic dependencies through [replace]

Previously this'd cause a stack overflow in Cargo later in the compilation
graph, but this is intended to get caught during resolution.

Closes #3831

Detect cyclic dependencies through [replace]

Previously this'd cause a stack overflow in Cargo later in the compilation
graph, but this is intended to get caught during resolution.

Closes #3831

Report the name of the test that failed (fix #2529)

Auto merge of #3843 - alexcrichton:fix-override-default-features, r=matklad

Fix overriding mixing with default features

Previously Cargo had a bug where if a crate *without* a default feature was
overridden with one that did indeed have a default feature then the default may
not end up getting activated by accident. The fix was to avoid returning too
quickly hen activating dependencies until after we've inspected and learned
about replacements.

Closes #3812

Fix overriding mixing with default features

Previously Cargo had a bug where if a crate *without* a default feature was
overridden with one that did indeed have a default feature then the default may
not end up getting activated by accident. The fix was to avoid returning too
quickly hen activating dependencies until after we've inspected and learned
about replacements.

Closes #3812

Encourage tools writers to explicitly pin metadata version

Auto merge of #3839 - tee-too:fix-3828, r=matklad

Remove --cap-lints feature detection (fix issue #3828)

Remove --cap-lints feature detection (fix issue #3828)

Add a workspace.exclude key

This commit adds a new key to the `Cargo.toml` manifest, `workspace.exclude`.
This new key is a list of strings which is an array of directories that are
excluded from the workspace explicitly. This is intended for use cases such as
vendoring where path dependencies into a vendored directory don't want to pull
in the workspace dependencies.

There's a number of use cases mentioned on #3192 which I believe should all be
covered with this strategy. At a bare minimum it should suffice to `exclude`
every directory and then just explicitly whitelist crates through `members`
through inclusion, and that should give precise control over the structure of a
workspace.

Closes #3192

Auto merge of #3836 - alexcrichton:bump, r=alexcrichton

Bump to 0.19.0

Bump to 0.19.0

Auto merge of #3827 - alexcrichton:warnings-v2, r=matklad

Cap lints for upstream deps with `-vv`

Previously with `-vv` Cargo didn't pass `--cap-lints` at all, but with upstream
dependencies we still want to pass at least `--cap-lints warn` to make sure that
they're all still compiling.

Closes #3823

Cap lints for upstream deps with `-vv`

Previously with `-vv` Cargo didn't pass `--cap-lints` at all, but with upstream
dependencies we still want to pass at least `--cap-lints warn` to make sure that
they're all still compiling.

Closes #3823

Auto merge of #3818 - jmatraszek:3814-run_proper_binary_main_rs, r=alexcrichton

Fixes #3814

Auto merge of #3820 - alexcrichton:remove-build-date, r=alexcrichton

Remove build date from version

This was done by rustc awhile ago anyway and the rustc build system isn't
exporting it.

Tweak travis targets and dates

Just trying to get a PR to land...

Remove build date from version

This was done by rustc awhile ago anyway and the rustc build system isn't
exporting it.

#3814: Fallback to src/bin/main.rs for bins

Auto merge of #3807 - nerdrew:nerdrew/_cargo, r=alexcrichton

support custom cargo-* command zsh tab completion

Auto merge of #3794 - alexcrichton:better-errors, r=matklad

Improve TOML decoding error messages

Unfortunately while `#[serde(untagged)]` is precisely what we want in terms of
semantics it leaves a little to be desired in terms of error messages. This
commit updates to remove the usage of that attribute in favor of implementing
`Deserialize` directly, which is quite simple in these few cases.

Closes #3790

Improve TOML decoding error messages

Unfortunately while `#[serde(untagged)]` is precisely what we want in terms of
semantics it leaves a little to be desired in terms of error messages. This
commit updates to remove the usage of that attribute in favor of implementing
`Deserialize` directly, which is quite simple in these few cases.

Closes #3790

support custom cargo-* command zsh tab completion

Auto merge of #3789 - vojtechkral:cargo_env, r=alexcrichton

Tell subprocesses the path to self in an env variable #3778

I'm just setting the env var on the process itself, letting subprocesses inherit that, as it's easier than setting for each subprocess individually. I'm not entirely sure this is the right spot though.

Also, I should probably document this somewhere - what would be the best place?

Tell subprocesses the path to self in an env variable #3778

Auto merge of #3369 - joshtriplett:cargo-install-only-required-dependencies, r=alexcrichton

cargo fails if it can't find optional dependencies, even if corresponding feature not enabled

I have a directory registry containing all the crate sources needed to build an application crate (for instance, ripgrep), and a `$CARGO_HOME/config` file that looks like this:

```toml
[source.crates-io]
replace-with = "dh-cargo-registry"

[source.dh-cargo-registry]
directory = "/usr/share/cargo/registry/"
```

When I attempt to build ripgrep via "cargo install ripgrep" from that directory registry, I get this error:

```
error: failed to compile `ripgrep v0.3.1`, intermediate artifacts can be found at `/tmp/cargo-install.rmKApOw9BwAL`

Caused by:
  no matching package named `simd` found (required by `bytecount`)
location searched: registry https://github.com/rust-lang/crates.io-index
version required: ^0.1.1
```

The directory registry indeed does not contain "simd"; however, bytecount doesn't require simd.  It has an optional dependency on simd, and nothing enables the feature that requires that dependency.

Placing the simd crate sources into the directory registry allows ripgrep to build; the resulting build does not actually build the simd crate.

I can reproduce this by just trying to build the "bytecount" crate directly, using the same `$CARGO_HOME`:

```
error: no matching package named `simd` found (required by `bytecount`)
location searched: registry https://github.com/rust-lang/crates.io-index
version required: = 0.1.1
```
(Incidentally, that "version required" seems wrong: bytecount has an optional dependency on simd `^0.1.1`, not `=0.1.1`.)

However, this doesn't seem consistent with other crates in the same dependency tree.  For instance, ripgrep also depends on clap, and clap has an optional dependency on yaml-rust, yet cargo does not complain about the missing yaml-rust.

I'd *guess* that the difference occurs because ripgrep has an optional feature `simd-accel` that depends on `bytecount/simd-accel`, so cargo wants to compute what packages it needs for that case too, even when building without that feature. (Similar to #3233.)

However, this makes it impossible to build a package while installing only the packaged dependencies for the enabled features.  Could `cargo install` ignore any dependencies not actually required by the enabled feature?  (That behavior would make no sense for "cargo build", which builds a Cargo.lock file that should remain consistent regardless of enabled features, but it makes sense for "cargo install cratename", which doesn't build a Cargo.lock file.)

Auto merge of #3795 - jryans:template-year, r=alexcrichton

Add year to project template variables

This adds the current year as a `year` variable for project templates. Some license files / headers include the year, so this should make it easier to include those in a template.

In "cargo install" directly from registry, don't require optional dependencies

When building with a directory registry that contains only the subset of
crates required to build an application crate, cargo fails if that
subset doesn't include optional dependencies pulled in for every
possible feature of the root crate, even when the install doesn't enable
those features.  This prevents Linux distributions from building with
a minimal set of dependencies (omitting, for instance, packages for
unstable/nightly features).

Introduce a new workspace flag "require_optional_deps", disabled for
install and enabled for everything else.  Skip the initial
Method::Everything resolve in this case, and modify
resolve_with_previous to support running a Method::Required resolve
without a previous resolution.

This also skips adding path overrides, as those won't make sense (and
won't work) for an install directly from a registry.

Introduce a set of tests for "cargo install" directly from a directory
registry.

Use time crate directly to get the year